import Crawler from 'crawler'

// 注意自定义参数是给回调函数使用的，不会在请求中携带到服务端
const c = new Crawler({
    rateLimit: 1000,
    callback:function(err,res,done){
        if(err){
            console.log('出现异常',err);
        }else{
            const $ = res.$;
            console.log($('title').text());
            //输出传递的自定义参数
            console.log(res.options.userParams);
        }

        done();
    }
});

//添加自定义参数
c.add({
    url: 'https://www.baidu.com',
    userParams: {
        username: 'jack',
        age: 20
    }
})